hive文件存儲格式包括以下幾類： 1、TEXTFILE 2、SEQUENCEFILE 3、RCFILE 4、ORCFILE(0.11以后出現) 其中TEXTFILE為默認格式，建表時不指定 ...

一、SecondaryNameNode概念： 光從字面上來理解，很容易讓一些初學者先入為主：SecondaryNameNode(snn)就是NameNode(nn)的熱備進程。其實不是。ss ...

一、引言： 　　最近發現datanode老是無緣無故的進程掛掉，從程序的日志沒有stop跡象，只能從/var/log/messages入手，發現如下信息： 　　從namenode的頁面也可以看 ...

一、集群環境： Hostname IP Hadoop版本 Hadoop ...

一、引言： 　　在一次和同事的討論中遇到一個這樣的問題：有一個hadoop集群，在hbase的put數據出現瓶頸，他們想要把datanode上的磁盤做成RAID 0(比如10塊磁盤做成一個RAID ...

一、引言： 　　快下班的時候我開發同事問能不能將hive中drop掉的數據恢復過來，我記得是有開回收站的，當時我回答說可以恢復的。 二、恢復過程： 　　在之前我有對hadoop的回收站有過了解， ...

一、問題： 在使用Hive0.11進行select查詢的時候報： 查看jobtracker頁面中該job的信息發現有： 其中Caused by: java.lang. ...

一、回收站簡介： 在HDFS里，刪除文件時，不會真正的刪除，其實是放入回收站/trash，回收站里的文件可以快速恢復。 可以設置一個時間閥值，當回收站里文件的存放時間超過這個閥值或 ...

一、Hive簡介 Hive是基於Hadoop的一個數據倉庫工具，可以將結構化的數據文件映射為一張數據庫表，並提供完整的sql查詢功能，可以將sql語句轉換為MapReduce任務進行運行。其 ...

使用root用戶啟動hadoop的時候報錯： 解決方法：修改本機ssh_config文件 據說GSSAPIAuthentication的作用：是否允許使用基於GSSAP ...